
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。
来自主题: AI资讯
6358 点击 2024-08-13 17:07
TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。
只是换掉Transformer架构,立马性能全方位提升,问鼎同规模开源模型!